【智能与法】刘元兴：智能金融的“算法可解释性”问题——金融科技观察第13期

B D A I L C 

 欢 迎 关 注 

Taeil Kim

智能金融的“算法可解释性”问题

金融科技观察第13期

文 / 京东金融研究院研究员 刘元兴

在今年五月生效的欧盟《一般数据保护条例》 (GDPR)不仅保护个人隐私和数据，还要求具有自动化算法具有透明性、可解释性。算法可解释性和透明性是一个重要的人工智能伦理命题，因为其关涉人类的知情利益和主人翁地位，对算法的安全感、信赖感、认同度取决于算法的透明性和可理解性。然而,金融算法的透明性和可解释性要求，对金融消费者保护的影响，以及是否会催生出一种独立的“获解释权”，尚有疑问，有待探讨。对智能金融算法提出的透明性和可解释性要求，使得“知情权”这一传统消费者权利在智能金融领域具象化展开成为可能。但传统“知情权”，在智能金融领域，对保护金融消费者是否有效，是令人怀疑的。以下将探讨两个问题：（1）GDPR语境下，金融算法的透明性和可解释性要求，是否意味着一个“获解释权（the right to explanation）”的确立，还是仅仅存在“被告知的权利（the right to be informed）”？（2）金融算法透明性和可解释性规制路径，从“数据主体”的角度，还是从“金融消费者”角度出发？

一、智能金融算法可解释性需求

（一）维护金融算法消费者的知情权利益

因为算法的复杂性和专业性，金融信息不对称可能会更加严重，这种信息不对称加重不只发生在算法消费者与算法设计者、使用者之间，更发生在人类和机器之间，所以金融算法应用下“金融消费者知情利益保障”是一个比较棘手的问题。

（二）解决金融算法歧视和黑箱操作性问题

就智能金融算法来说，人类不要希冀因为算法的中立性、客观性或科学性，其就不带有人类活动的歧视性和黑箱操作性。宾夕法尼亚州法学院的Tom Baker 和荷兰鹿特丹伊拉斯谟大学的Benedict G. C. Dellaert教授认为：公众不能预设智能投顾机器人没有人类所具有的不纯动机。就是因为智能金融算法存在歧视和黑箱现象，所以才需要算法的透明性或解释性机制。

（三）提供算法可责性问题的解决工具和前提

Doshi-Velez教授等人在其文章“accountability of AI under the law: The role of explanation”中认为算法透明性和可解释性是解决算法可归责性的重要工具。明确算法决策的主体性、因果性或相关性，是确定和分配算法责任的前提。

（四）涉及个人特殊敏感数据的必要警惕

德国《新联邦数据保护法案》（The NEW BDSG）第37段对GDPR第9条（特别类别个人数据的处理）进行了克减（derogation）规定，允许在保险领域进行自动化决策，该自动化决策可以基于个人敏感信息做出，这有利于促进智能保险的发展。但是，对智能金融自动化算法对个人数据尤其是个人敏感数据的使用和处理所可能产生的算法黑箱、算法歧视、隐私泄露等伦理和法律问题要保持足够的警惕。

综上所述，出于维护金融算法消费者的知情权利益，解决金融算法歧视和黑箱操作性问题，为算法可责性问题提供解决工具和前提，以及对金融领域算法自动化决策利用个人特殊敏感数据可能产生的伦理和法律问题的必要警惕，算法的透明性和可解释性要求，在智能金融领域，尤为迫切和重要。

二、“获解释权”存否论证难以满足需求

关于GDPR“获解释权”存否问题，分为两派，一派认为GDPR已经创设了该权利，另一派认为GDPR语境下该权利不成立。

Goodman和Flaxman教授在其论文“European Union regulations on algorithmic decision-making and a ‘right to explanation’”中，先是基于GDPR序言第71条佐证了GDPR对“获解释权（the right to explanation ）创设，但鉴于GDPR序言没有法律约束力，其后来又认为可以从GDPR第13-14条中引申出“获解释权”。

Wachter教授在与其他教授合写的论文“Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”中，通过论证四种解释（见下表），对该“引申”做出了否定回答。

Wachter教授认为特定决策的事前解释是不可能的，因为只有特定决策结果或结论产生后，才可以在该结果或结论与输入数据以及算法机制之间做出解释。因此只有特定决策的事后解释才是可能的，而这在GDPR第 22条是没有规定的，只能在GDPR序言第71条中找到，而序言是不具有法律约束力的，所以“获解释性权是不存在的”。

GDPR第13(2)(f), 14(2)(g)条款的事前告知不构成事前解释，更不构成事后解释。GDPR第13(2)(f), 14(2)(g)条款仅仅关涉第 22(1)(2)条款，意指“自动化特定决策（‘automated individual decision’）做出之前的告知”，其蕴含着为GDPR第22(2)条款里的“同意情形”做准备的意味。如果不同意接受动化决策，则仅仅存在数据搜集阶段的“被告知的权利（ right to be informed）”。说白了没有进入“承受自动化决策” 阶段，则没有采取保障措施的（safeguards）的必要。GDPR第15(1)(h)条款仅指：数据处理时，数据主体“访问权内容”对GDPR第13(2)(f), 14(2)(g)条款“告知内容”的“覆盖包含”，也没有进入“承受自动化决策”阶段。

GDPR13(2)(f), 14(2)(g) 和 15(1)(h)条款规定，应告知“自动化决策”的“存在（existence）”。后面的 “关于算法逻辑机制的有效信息 (meaningful information about the logic involved)” 和 “告知数据主体自动化决策机制处理其个人数据对其影响和后果（the significance and the envisaged consequences of such processing for the data subject）”就是含摄在“存在（existence）”里面，作为整体，成为被告知的内容，并为GDPR第22（2）条款里的数据主体“同意”提供考量素材，这也证明了GDPR13(2)(f), 14(2)(g), 和 15(1)(h)条款所规定仅仅是“被告知的权利（the right to be informed）”。

GDPR第22条免受自动化决策的权利，有两个条件：一个是完全自动化（“solely”）；第二是对数据主体产生法律后果（“legal Effects”）或对数据主体造成类似的严重影响（“similarly significantly affects”）。GDPR 22第(3)段在GDPR 22条第(3)段的基础上适用，即数据主体已经可以接受自动化决策，即已经进入“承受自动化决策” 阶段，因此有必要对其权利和自由采取相应的保障措施。所以即便有“获解释权”，也是只能从“保障措施（measures to safeguard）中引申出来。

综上所述，在GDPR目前的体系语境下，证成“获解释权（the right to explanation）”是比较困难的。所以，“获解释权（the right to explanation）”要么有要么无的存否论证，不能从实质上解决 “算法透明性和可解释性”问题。

二、“获解释权”存否论证难以满足需求

“可解释性”到“获解释权”的生成路径，在目前GDPR体系化解释下，还难以证成。因为保障措施“safeguards”不仅限于赋予数据主体“权利”（ “获得数据控制者人为干预权”、“表达个人观点”、“质疑自动化决策权”）层面，所以，或许不用拘泥于“获解释权”这一概念，能够对GDPR 22条提到的保障措施“safeguards”，采取灵活解读和适用，实质上保障了数据主体的权利、自由以及合法权益（rights and freedoms and legitimate interests ）即可。 

假设“获解释权”存在，就智能金融自动化算法规制来说，存在着两种思路：（一）消费者保护角度： 算法设计者或使用者要遵循透明性义务，消费者获取信息的知情权利；（二）个人信息权角度：算法设计者或使用者要遵循可解释义务，数据主体具有“获解释权”。但这两种思路本身存在一种错位：“知情权”本是消法领域的一种权利，现在被设置在数据搜集阶段；而“获解释权”从内容上看，是一种对数据主体的利益和自由的保障措施，而该数据主体大多数情形下是受自动化决策影响的消费者。

如果仅仅涉及数据的搜集、存储、传输、删除等过程，那么可以单纯地从“数据主体”的角度出发，设置金融算法可解释性规制路径。但往往金融算法的数据处理涉及商用目的，所以此时，打破以上两种思路错位分野，从“消费者”（即受金融算法自动化决策影响的金融消费者）角度出发加以规制，综合保护较为合理。例如GDPR将“画像（“profiling”）算作自动化算法决策的一种，乃是因为“画像”往往不止于对个人在特定领域和目的上进行特征集合描述，大多数情况下是出于商业目的，例如“精准营销”或“直接营销”。所以，出于“定向营销”目的的“金融画像”，应该从金融消费者保护的角度出发，即在搜集信息阶段给予其“知情”的权利，在自动化决策后，数据控制者还要采取必要措施保障其个人权利和自由。